Het kasteel vindt zijn oorsprong terug in het "Goed ter IJse". Dit domein werd in 1735 aangekocht door baron Charles-Joseph d'Overschie, een afstammeling van een oud en voornaam Hollands brouwersgeslacht.
Het klein en omgracht kasteeltje werd enkel gebruikt als jachtpaviljoen. Wel werd het molenhuis volledig herbouwd. Het domein werd in 1744 geërfd door zijn oudste zoon, Jean-Albert d'Overschie, die de verbouwingswerken aan het kasteel verder zette en het park liet aanleggen. De opvolgers van baron Jean-Albert zouden gedurende meer dan een eeuw het dorp Neerijse besturen.
Toen in 1892 het kasteel en de familiebezittingen werd geërfd door zijn achterkleindochter, Anne d'Overschie, kwam het bewind onder een ander wapenschild vermits Anne was gehuwd met graaf Auguste de Bethune Hesdigneul. Hun zoon verhuurde het kasteel eerst aan een religieuze zustercongregatie die er een kindertehuis inrichten en verkocht het in 1935 aan baron Goffinet die het vanaf 1942 verhuurde om er een kliniek in onder te brengen. Tot voor kort werd het kasteel uitgebaat als drie sterren hotel en restaurant.
Een nieuw renovatieproject zal het kasteel van Neerijse een nieuwe functie geven. Er zijn plannen om er 15 luxeappartementen in te richten. De kasteelbewoners zullen er prestigieus leven. De gekaleide gevel en het zadeldak worden gerestaureerd in overleg met monumentenzorg, zodat het kasteel zijn oorspronkelijk uitzicht terugkrijgt.